Het oorspronkelijke feodale slot ‘Ter Beken’ behoorde in 1516 toe aan Gillis van der Beken, heer van Drongen. Later werd het eigendom doorverkocht aan verschillende families.
In 1748 komt het kasteel in handen van graaf Karel-Willem van Alegambe, markies van Auweghem. Hij liet het oude "Goet ter Beke" slopen en het huidige kasteel optrekken. Na zijn dood trouwde zijn weduwe met markies de Villalta, en verhuurde het kasteel aan prins Louis Ernest de Montmorency. Begin 20ste eeuw werd de Gentse industrieel en katholiek politicus, Amand Casier, eigenaar en wordt het kasteel gerestaureerd. Baron Amand Casier de ter Beken bewoonde het kasteel tot 1940. Tijdens de beide Wereldoorlogen lijdt het kasteel veel schade onder de bezetting van Duitse troepen.
In 1948 koopt het bisdom Gent het hele domein en werd aan het kasteel een seminariegebouw toegevoegd. Het ontwerp van het seminariegebouw kwam van Valentin Vaerwyck. De robuuste stijl contrasteert met de elegantie van het achttiende-eeuwse rococokasteel. Typisch voor de massieve stijl van Vaerewyck zijn bijvoorbeeld de dakkapellen, het gebruik van bleekgele bak- en zandsteen en de arduinen deuromlijstingen. Tot begin jaren negentig bood Ter Beken onderdak aan het Sint-Paulusseminarie.
In 2019 koopt de LUCA School of Arts het kasteel. Met de komst van deze school, waartoe ook de bekende Gentse Sint-Lucaskunsthogeschool behoort, behoudt het gebouw ook na de verkoop een onderwijsdoel. Sinds 1994 zijn het achttiende-eeuwse kasteel, het park, de walgrachten en de bijgebouwen beschermt als monument.